Sullivan lớn lên ở khu vực Linda Vista tại San Diego, California, nơi cha mẹ Người Mỹ gốc Ireland của anh chuyển từ Nebraska sang làm việc trong ngành công nghiệp quốc phòng. Nhờ thể trang cao lớn nên anh từng là một cầu thủ ném bóng bầu dục trường trung học. Theo những tờ ghi chú lót tự viết về LP của mình thì ông "lớn lên trong một dự án nhà ở của chính phủ với một bó các Okies và Arkies khác," và quyết định chơi nhạc sau khi nghe các nhóm nhạc blues địa phương. Anh quyết định kết hôn và chơi guitar trong một ban nhạc rock địa phương, Survivors, cùng với chị dâu của mình là Kathie Doran. Sullivan và một người bạn đã mua một quán bar gần trường đại học của họ, nhưng lại hết sạch tiền, và vào năm 1968, anh ta cùng vợ là Barbara và con trai nhỏ dọn đến Los Angeles.[1][2]

Trong khi vợ làm việc tại Capitol Records, Sullivan đã viết các bài hát và biểu diễn trong các câu lạc bộ ngày càng có uy tín trong khu vực Los Angeles. Cụ thể, anh gầy dựng danh tiếng tại câu lạc bộ Raft ở Malibu, nơi anh trở thành bạn với các nhân vật Hollywood bao gồm Lee Majors, Lee Marvin và Harry Dean Stanton. Anh xuất hiện như một vai phụ trong bộ phim Easy Rider, và được trình diễn trong chương trình truyền hình của José Feliciano. Bạn bè của anh đã đóng góp tài trợ cho phép anh thu âm một album những ca khúc của mình với các nhạc sĩ phòng thu Los Angeles hàng đầu, nghệ sĩ piano Don Randi, tay trống Earl Palmer, và nghệ sĩ bass Jimmy Bond, người cũng là cải biên và đồng sản xuất thu âm.[2] Sau khi Nick Venet tại Capitol từ chối cơ hội phát hành bản thu âm, nó được phát hành bởi người bạn của Sullivan là Al Dobbs trên một hãng thu âm nhỏ, Monnie, một nhãn hiệu mà anh ta thiết lập cho mục đích đó. Album, U.F.O., được phát hành năm 1969, và thể hiện các bài hát của Sullivan theo phong cách pha trộn nhạc dân ca, rock và đồng quê sánh ngang với Fred Neil, Tim Hardin, Gene Clark và Joe South, với những biên khúc theo phong cách của David Axelrod.[1][3][4][5][6]

Album này được Century City Records phối lại và tái phát hành vào năm 1970,[3] và ca khúc "Rosey" được phát hành dưới dạng đĩa đơn, nhưng ít gây tiếng vang vào thời điểm đó. Sullivan tiếp tục biểu diễn trong các câu lạc bộ. Năm 1972, ông đã thu âm một album thứ hai, Jim Sullivan, do Jim Hughart cải biên, Lee Burch sản xuất và Playboy Records phát hành. Tuy nhiên, một lần nữa, bản thu này đã không thành công như mong đợi. Khi Sullivan ngày càng sa đà vào rượu chè và cuộc hôn nhân bắt đầu tan vỡ, anh quyết định sang năm 1975 làm một chuyến đi đến Nashville, nơi Kathie Doran đang làm ca sĩ kiêm sáng tác nhạc, và cố gắng tìm kiếm thành công ở đó.[1][4]